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Інформаційна технологія 
невербального спілкування людей 
з вадами слуху 


Пропонується концепція комплексної інформаційної технології невербального спілкування українською 
мовою жестів людей з вадами слуху, як між собою, так і з Іншими людьми. 


Вступ 1 постановка задачі 


У світі кількість повністю глухих людей і людей з важкими формами втрати 
слуху складає близько 1,5 Уо від загальної чисельності населення - це десятки 
мільйонів людей, для яких необхідно створювати засоби рівноцінного спілкування у 
суспільстві. Пункт 7 Правила 5 Додатку до Резолюції ООН 48/96 «Стандартні пра- 
вила забезпечення рівних можливостей для інвалідів» говорить: «Потрібно подбати 
про те, щоб мова жестів застосовувалась для навчання глухих дітей, в їх сім'ях та 
громадах. Потрібно також надавати послуги по сурдоперекладу для того, щоб 
сприяти спілкуванню глухих з іншими людьми» | 1. 

В Україні більше півмільйона дітей з вадами слуху, а кількість глухих людей, 
для яких потрібно розробляти сучасні засоби навчання і спілкування відповідно до 
світового науково-технічного розвитку - становить мільйони. Розвиток сучасної 
науки, комп'ютеризація суспільства, використання мультимедійних та інтернет- 
технологій створили достатні умови для розробки комп'ютерних систем комунікації 
цих людей у формах і образах, близьких і зрозумілих для них і для оточуючого 
середовища. 

Основною формою спілкування глухих є мова жестів. Мова жестів має 
національні особливості (наприклад, англійська, французька, українська та інші 
мови), причому люди з вадами слуху використовують у спілкуванні дві жестові 
мови, які мають різну граматику й різний набір жестів: 

- розмовну мову жестів, яка використовується у повсякденному спілкуванні і має 
власну граматику, досить відмінну від природної розмовної мови; 

- калькулюючу мову жестів, яка використовується в офіційній 1 діловій обстановці 
та містить у собі як знаки розмовної мови жестів, так і знаки дактилогічної абетки, 
яка служить для відтворення слів по буквах, причому калькулююча мова жестів не 
має власної граматики, вона підкоряється граматичним правилам національної мови. 

Важливою проблемою спілкування глухих з іншими людьми є вміння 
розпізнавати розмовну мову по губах, оскільки звичайні люди загалом не знають і не 
вивчають мову жестів. З цього погляду Задачі візуального синтезу мови та 
розпізнавання по губах є альтернативою мовного спілкування для людей з вадами 
слуху. Крім цього, розвиток напрямку автоматичного читання по губах допоможе 
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покращити показники існуючих систем розпізнавання мови завдяки отриманню 
додаткового незалежного каналу інформації, а її синтезоване озвучення дозволить 
включити в комунікаційний процес людей з вадами зору. 

Огляд літератури з даної тематики показав, що на теперішній час подібні 
системи розроблені для англійської, французької мови |2|, |3|, початі дослідження 
для російської мови |4|. Подібні розробки для української мови відсутні. 

Авторами обгрунтовується необхідність розробки комплексної інформаційної 
технології невербального спілкування українською мовою жестів людей з вадами 
слуху, як між собою, так і з іншими людьми. Виходячи з цього сформульована 
наступна постановка задачі. 

Необхідно розробити концепцію комп'ютерної інформаційної технології невер- 
бального спілкування людей з вадами слуху (що не чують та слабо чують) з 
можливістю реалізації у її рамках наступної функціональності: 

- синтез тексту українською мовою на природну голосову мову; 

- відображення на обличчі тривимірної комп'ютерної моделі людини мовленнєвого 
процесу з урахуванням емоційних складових; 

- синтез рухів мови жестів глухих та дактильної абетки тривимірної моделі людини; 
- аналіз речень українською мовою для синтезу їх аналогів на мові жестів; 

- аналіз міміки губ мовленнєвого процесу. 


Інформаційна технологія невербального спілкування 
людей з вадами слуху 


Комплексна інформаційна технологія включає реалізацію наступних можли- 
востей: 

- модуль перекладу звичайного тексту на мову жестів глухих, який міститиме аніма- 
цію процесу промовляння розмовної і калькулюючої мови жестів з використанням 
віртуальних моделей людей; 

- анімацію міміки обличчя (з урахуванням емоційних складових) при промовлянні; 
- озвучення (синтез) звичайного тексту у його звуковий аналог (з використанням 
різних голосів); 

- модуль розпізнавання за зміною міміки губ тексту, який промовляється. 

Концепція експериментальної технології віртуального спілкування людей з 
вадами слуху зображена на схемі рис. 1 а), Б). 

У перетворювачі тексту основне навантаження несе граматичний, семантичний 
аналіз речення та морфологічний аналіз слова. При перекладі речення мови жестів у 
речення українською мовою мають місце наступні проблеми: 

- при нормалізації вхідної словоформи (морфологічний аналізатор) можливі ситуації, 
коли вхідна словоформа має декілька варіантів слів, що належать до різних частин 
мови. Для вирішення таких колізій необхідно попередньо провести граматичний аналіз 
речення, що суттєво зменшить такі колізії; 

- з іншої сторони, можливі ситуації, коли одне і те ж слово української мови має 
багато відтінків та переходів в значеннях і вживанні. Тобто для точного визначення 
жесту для конкретного слова потрібно визначити семантичну структуру вхідного 
речення. 

Схема алгоритму такої функції перетворювача зображена на рис. 2. 
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Перетворювач тексту 
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Рисунок 1 - Схема концепції експериментальної технології віртуального спілкування 
людей з вадами слуху та зору 
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Рисунок 2 - Перетворювач тексту 


Граматичний аналізатор визначає для кожного слова, до якої частини речення 
воно відноситься, і також частину мови, до якої дане слово належить. 

Морфологічний аналізатор нормалізує вхідні словоформи (отримання лексеми). 

Семантичний аналізатор, враховуючи значення слова та його вживання у да- 
ному реченні, визначає жест. 


Реалізація концепції 


В рамках реалізації запропонованої концепції комп'ютерної інформаційної 
технології невербального спілкування людей з вадами слуху проведені дослідження 
та розроблене тестове програмне забезпечення. 

Для синтезу тривимірної анімації мови жестів побудовані геометричні класи 
векторів-образів жестів. Побудова цих класів базувалась на використанні технології 
тойоп сарішге |5|. Мойоп саріиге - це технологія подання рухів, яка дозволяє 
перейти від характеристик руху в реальному світі до фіксації змін параметрів для 
математичної моделі. Для автоматичного отримання необхідних ключових коорди- 
нат жесту використовувалась технологія трекінгу |6). 

Для опису жесту використовувався формат ВУН, з наступним експортом 
отриманих даних на скелетну тривимірну модель (наприклад, у модулі СРагасіег 
Зїидіо для ЗР здо МАХ або в Розег). 

Запропонована реалізація технології плойоп саріиге для фіксації рухів жестової 
мови містить наступні етапи (рис. 3): 

1) отримання відеопотоку жестикуляції у двох ракурсах: фронт, профіль (усі 
необхідні параметри зйомки відомі); 

2) обробка відеопотоку з виділенням слідів 1 положень (координат) рук 
жестикуляції в просторі; 

3) на основі отриманих координат жестикуляції - формування ВУН-файлу для 
синтезу трьохвимірної анімації; 

4) застосування ВУН-файлу для створення анімації (в Срагасіег 5шаїо для 3) 
здо МАХ або в Розег). 
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Рисунок 3 - Побудова анімації жесту 


Для обробки вхідного тексту (розміщення наголосів, виділення інфінітивів, 
пошуку синонімів і типових фраз мови) розроблена інформаційна модель україн- 
ської мови. Модель подана у вигляді таблиць реляційної бази даних з набором 
збережених процедур, які реалізують необхідну для розглянутої технології функціо- 
нальність (рис. 4). 

Інформаційна модель української мови містить більше двох з половиною 
мільйонів слів (всі можливі словоформи), наголоси, синоніми, ідіоми, фрагменти 
слів для синтезу різними голосами, вектори-образи жестів. 

Для реалізації функції візуалізації озвучення тексту розроблено синтезатор 
української мови. Синтезатор дозволяє створювати голосовий аналог довільного 
тексту різними голосами з можливістю керування характеристиками голосу (гуч- 
ність, далі/ближче). Синтезатор також дає можливість побудувати візуальне подання 
процесу промовляння як за допомогою двомірних візем, так і на тривимірній моделі 


(рис. 5). 
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Рисунок 4 - Логічна схема бази даних - інформаційна модель української мови 
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Рисунок 5 - а) синтезатор української мови; Б) синтез візем української мови 


Для комплексного тестування запропонованої технології створене відповідне 
програмне забезпечення (рис. 6) для перекладу довільного тексту на калькулятивну 
мову жестів. Програмне забезпечення реалізує наступний алгоритм синтезу послідов- 
ності жестів: 

1) вхідний текст синтезується у його голосовий аналог; 

2) вхідний текст розбивається на слова; 

3)для кожного слова у базі даних слів шукається його нормальна форма 
(Інфінітив); 

4)для кожної нормальної форми слова у базі даних жестів шукається відпо- 
відна послідовність рухів; 

5) якщо для даної словоформи послідовність рухів не знайдена, то слово зобра- 
жається дактильною абеткою; 

6) тривимірна модель відтворює генеровані послідовності рухів та синтезова- 
ний голосовий аналог. 
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Рисунок 6 - Синтез мови жестів на об'ємній моделі 


330 «Искусственньй интеллект» 372008 


Інформаційна технологія невербального спілкування людей з вадами слуху 4К 


Висновки 


В роботі запропонована концепція комплексної інформаційної технології невер- 
бального спілкування українською мовою жестів людей з вадами слуху, як між собою, 
так і з іншими людьми. Отримані результати в рамках цієї концепції показали її 
життєздатність та виявили деякі проблеми, які потребують подальших досліджень. 

Подальші дослідження направлені на реалізацію всієї множини рухів україн- 
ської мови жестів. Окремого розгляду потребують питання, пов'язані з граматичним 
та семантичним аналізом речень. 


Література 


1. Стандартнье правила обеспечения равньїх возможностей инвалидов // Офіційні звіти Генеральної 
Асамблеї, сорок восьмая сессия. - Дополнение М 49 (А/48/49). - С. 292-306. Документ 995 306, 
редакція від 20.12.1993. - Режим доступа: Бієр://лумуму п .Оге/доситепіз/ва/ге8/48/а48г096 Біт 

2. Меїіе С., 5сіагоїї 5., У. Аіїзоє. Зієп5ітеатітм: А Тоді їог Ілпеціяйс апа Согариїег Мізіоп Кезеагсі оп 
Мізица-Сезійта! І апецаєє Дага: Вобіоп: Воз8іоп Опіуегятїу, Маззаспизейз. - 2001. - 33:3. - Р. 311-320. 

3. ІВМ Кезеагср Ретоп5зігаїсз Папоуайує "Ябреесії їо Зієп І апоцаєє" Тгапзіайоп 5узіет, Ехітете Віце 
ргостатте НОВ51ЕУ, ОК - 12 Зер 2007, ІВМ Меаіа Веіайопя. - Режим доступа: Бієр://мимуму- 
03 Льпа. сопи/рге85/ц5/еп/рге88геса8е/223 16. мм85 

4. Воскресенский А.Л., Хахалин Г.К. Мультимедийньй толковьй словарь русского жестового язьтка // 
Компьютерная лингвистика и интеллектуальньєе технологии: Трудьт международной конференции 
«Диалог 2007» (Бекасово, 30 мая - 3 июня 2007 г.) / Под ред. Л.Л. Иомдина, Н.Й. Лауфер, 
А.С. Нариньяни, В.П. Селегея. - М.: Изд-во РГГУ, 2007. - 658 с. 

5. Мепаспе А. Опдеєг5іапйдіпє Мойоп Сарійге Їог Согариїег Апітайоп апа Мідео Сатез8, Могеап 
Каййпапп. - 2000. - 238 р. 

6. 5. Амійдап. 5Заррогі уесіог ігаскіпе // Ргос. ЇБЕЕ Сопі. оп Соплриїег Мізіоп апа Райеги Весоєпійоп, 
Кацаї, Нам/аїї. - 2001. - МоГате І. - Р. 184-191. 

7. МШапі М., Доцбіезівсіп )., Магіп 7. Тре Мафбієпег: ап іпіегасіїує Іеагпіпє оо їог Атаєгісап 5ієп 
Іапрцаєє Адато-Пійогтайоп УМізцаПзайоп, 2004. -- ТУ. Ргосеедіпо8. КієБіБ Піегпайопа! Сопіегепсе оп 
Моїште, Із8це, 14-16 Лу. - 2004. - Р. 713-716. 


Ю.В. Крак, Ю.Г. Кривонос, А.В. Бармак, А.С. Тернов 

Информационная технология невербального общения людей с недостатками слуха 

Предложена концепция комплексной информационной технологии невербального общения на украийн- 
ском язьке жестов людей с недостатками слуха, как между собой, так и с другими людьми. 
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Шіогтабіоп гесппоїоду їЇог попуеграї! сопатипісабіоп ої дсаї реоріе 


Согаріех іпоптайоп їесрпоїову Їог попуєгфа! согапипісайоп ої дсаї реоріе Бої Бебмеєп ївеії апа у її 
офег реоріе Базед оп 5ієп Іапемаєєе 15 сгеаїса. 
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